前言
其實有很多企業有許多設備及服務的Log,但是往往只有收集,並沒有做整理更分析,自從人工智慧這個名詞讓企業家關注了以後,有許多人將想法動到這些Log,有些人期望從這些Log中想要找出問題,或是從這些Log中找出一些事件的原因,去最這些看似沒有用的Log中,找出一些價值,我們公司的其中一個專案就是幫設備Log藉由人工智慧的技術,期望可以預測問題發生,或是找出設備的「機王」,做進一步的檢查汰換。
在這邊我並不會提到人工智慧的演算法,我是負責將Log收集回來後,做一個簡單的檢索,讓後續的程式員去做演算法的串接與分析,因此這裡就需要有一套可以將Log收集回來並可以提供檢索的API。
Logstash
Logstash是一套開源的收集Log的服務,並且支援相當多服務中收集Log,並解析或是轉換等基本的處理,並支援多種服務直接串接輸入,做後續的處理。
Elasticsearch
Elasticsearch則是支援可以由Logstash串接整理後的Log,做儲存及檢索的功能,並可以做Cluster的分散式架構,並支援RESTAPI,可以讓程式員做後續串接資料回來做分析處理。
Kibana
Kibana則是可以做Elasticsearch可視化,除了可以做簡單的資料檢索呈現外,還有特種圖是可以些換做選擇,是一套相當棒的Log可視化服務。
參考資料
下次再來教大家如何串接及下載。